#Bitter Lesson

avatar
听了小珺采访谢赛宁的采访播客后，后劲十足。后劲之一是：对 Bitter Lesson（苦涩的教训）有了很不一样的理解。 原来的理解是：用精巧的规则去聪明做事，往往不如用通用的算法结合暴力去解决。比如国际象棋败给了深蓝、围棋败给了 AlphaGo、翻译和图像识别等败给了 LLM。 我们往往高估了聪明，而低估了笨拙。这就是苦涩的教训。 赛宁在播客里表达了一个非常有意思的观点：LLM 也是一种聪明、一种取巧，用很短暂的互联网积累的并不客观的各种语言数据，去尝试达成 AGI，这和研究围棋里的某种流派去解题，或许是一样的。也是一种聪明，而不是笨拙。这样得来的智能，会只是一小部分，终将非遗。 想起《孙子兵法》里的大智若愚：如果要不败，那么最重要的是：要么不战，要么就带十倍兵力去打，以多胜少。期待以少胜多，就是迟早是一种苦涩的教训。 创业也如此。最容易获得苦涩教训的，就是聪明。比如假设大厂不会做，或假设其他公司看不到。这都会是骗自己。不聪明，找到笨拙的法子，才是创业有机会获得成功的关键。 Bitter Lesson 是好事。聪明或许能优秀，但经历苦涩并理解苦涩，更有机会通往卓越。
#Bitter Lesson #谢赛宁 #播客 #国际象棋 #深蓝 #围棋 #AlphaGo #LLM #翻译 #图像识别